Training AI Scientists to Replicate Research
训练 AI 科学家复现研究
🧭 AI Scientist 智能体训练
Inherent
构建论文复现任务集 Replica 与低噪声自动打分 judge，后训练 27B Faraday 智能体在复现任务上超越 Claude Opus 4.8 和 GPT-5.5
📌 工作参考价值（4 点）
- 自动生成评分 rubric 的思路可迁移到电商 Agent 评估：用可自动构建的细粒度 rubric 替代人类打分，能降低标注成本、减少评分噪声，适合评估推荐解释、query 改写质量或 Agent 执行轨迹。
- 用编码 Agent 作为工具是轻量级垂直 Agent 的有效构造方式：不必事事靠大模型规划，把可验证的子任务交给代码执行器，能在复现/批处理/数据管道等场景里提升稳定性和可复现性。
- 后训练 27B 小模型在垂直任务上超过 GPT-5.5 和 Claude Opus 4.8：说明在定义清晰、有自动 reward 的任务中，用中等规模模型+领域数据微调是性价比很高的选择，适合电商内部 Agent 落地。
- 低噪声 judge 可以作为强化学习 reward 信号：如果你的业务 Agent 需要 RL 优化（如广告文案生成、搜索 query 推荐），可借鉴这种 rubric-based 自动 judge 设计，减少 reward hacking。